Aprendizado de variedades para a síntese de áudio espacial

Orientadores: Luiz César Martini, Bruno Sanches MasieroTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: O objetivo do áudio espacial gerado com a técnica binaural é simular uma fonte sonora em localizações espaciais arbitrarias através das Funções de Transferência Relativas à Cabeça (HRTFs) ou também chamadas de Funções de Transferência Anatômicas. As HRTFs modelam a interação entre uma fonte sonora e a antropometria de uma pessoa (e.g., cabeça, torso e orelhas). Se filtrarmos uma fonte de áudio através de um par de HRTFs (uma para cada orelha), o som virtual resultante parece originar-se de uma localização espacial específica. Inspirados em nossos resultados bem sucedidos construindo uma aplicação prática de reconhecimento facial voltada para pessoas com deficiência visual que usa uma interface de usuário baseada em áudio espacial, neste trabalho aprofundamos nossa pesquisa para abordar vários aspectos científicos do áudio espacial. Neste contexto, esta tese analisa como incorporar conhecimentos prévios do áudio espacial usando uma nova representação não-linear das HRTFs baseada no aprendizado de variedades para enfrentar vários desafios de amplo interesse na comunidade do áudio espacial, como a personalização de HRTFs, a interpolação de HRTFs e a melhoria da localização de fontes sonoras. O uso do aprendizado de variedades para áudio espacial baseia-se no pressuposto de que os dados (i.e., as HRTFs) situam-se em uma variedade de baixa dimensão. Esta suposição também tem sido de grande interesse entre pesquisadores em neurociência computacional, que argumentam que as variedades são cruciais para entender as relações não lineares subjacentes à percepção no cérebro. Para todas as nossas contribuições usando o aprendizado de variedades, a construção de uma única variedade entre os sujeitos através de um grafo Inter-sujeito (Inter-subject graph, ISG) revelou-se como uma poderosa representação das HRTFs capaz de incorporar conhecimento prévio destas e capturar seus fatores subjacentes. Além disso, a vantagem de construir uma única variedade usando o nosso ISG e o uso de informações de outros indivíduos para melhorar o desempenho geral das técnicas aqui propostas. Os resultados mostram que nossas técnicas baseadas no ISG superam outros métodos lineares e não-lineares nos desafios de áudio espacial abordados por esta teseAbstract: The objective of binaurally rendered spatial audio is to simulate a sound source in arbitrary spatial locations through the Head-Related Transfer Functions (HRTFs). HRTFs model the direction-dependent influence of ears, head, and torso on the incident sound field. When an audio source is filtered through a pair of HRTFs (one for each ear), a listener is capable of perceiving a sound as though it were reproduced at a specific location in space. Inspired by our successful results building a practical face recognition application aimed at visually impaired people that uses a spatial audio user interface, in this work we have deepened our research to address several scientific aspects of spatial audio. In this context, this thesis explores the incorporation of spatial audio prior knowledge using a novel nonlinear HRTF representation based on manifold learning, which tackles three major challenges of broad interest among the spatial audio community: HRTF personalization, HRTF interpolation, and human sound localization improvement. Exploring manifold learning for spatial audio is based on the assumption that the data (i.e. the HRTFs) lies on a low-dimensional manifold. This assumption has also been of interest among researchers in computational neuroscience, who argue that manifolds are crucial for understanding the underlying nonlinear relationships of perception in the brain. For all of our contributions using manifold learning, the construction of a single manifold across subjects through an Inter-subject Graph (ISG) has proven to lead to a powerful HRTF representation capable of incorporating prior knowledge of HRTFs and capturing the underlying factors of spatial hearing. Moreover, the use of our ISG to construct a single manifold offers the advantage of employing information from other individuals to improve the overall performance of the techniques herein proposed. The results show that our ISG-based techniques outperform other linear and nonlinear methods in tackling the spatial audio challenges addressed by this thesisDoutoradoEngenharia de ComputaçãoDoutor em Engenharia Elétrica2014/14630-9FAPESPCAPE

Dimensionality reduction using Isomap applied to spatial audio

Orientadores: Luiz César Martini, Siome Klein GoldensteinDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Conforme as aplicações de realidade aumentada tornam-se mais relevantes, há um crescente esforço na pesquisa do áudio espacial. O termo áudio espacial refere-se ao conjunto de técnicas onde a anatomia de uma pessoa (i.e. o pavilhão da orelha, a cabeça e o torso) é modelada por meio de filtros digitais. Ao filtrar uma fonte de áudio através desses filtros, o ouvinte é capaz de perceber um som como se ele fosse reproduzido em um local específico no espaço. No domínio da frequência, esses filtros são conhecidos como Funções de Transferência Relativas à Cabeça (Head-Related Transfer Functions, HRTF). Nesta dissertação, estabelecem-se os princípios básicos do áudio espacial, fornecendo uma analise das características espectrais das HRTFs. Além disso, como essas características espectrais diferem de uma pessoa para outra, propõe-se um novo método baseado em antropometria para personalizar HRTFs no plano horizontal. O método usa o Isomap, redes neurais artificias e um procedimento de reconstrução baseado na vizinhança. Assim, modificou-se a construção do grafo do Isomap para ressaltar a individualidade das HRTFs e efetuar uma redução de dimensionalidade não linear das HRTFs. Em seguida, utilizou-se uma rede neural artificial para modelar as relações não lineares entre as características antropométricas e as HRTFs de baixa dimensionalidade. E finalmente, usou-se uma abordagem de reconstrução com base na vizinhança para reconstruir a HRTF a partir do seu equivalente de baixa dimensionalidade. As simulações mostram que a abordagem proposta tem um desempenho melhor do que o PCA (Principal Component Analysis, Analise de Componentes Principais) e confirmam que o Isomap é capaz de descobrir as relações não lineares subjacentes da percepção auditivaAbstract: As auditory augmented reality applications become more important, there is increasing effort in spatial audio research. The term spatial audio refers to techniques where a person's anatomy (i.e. the pinnae, head and torso) is modeled as digital filters. By filtering a sound source with these filters, a listener is capable of perceiving a sound as though it were reproduced at a specific spatial location. In the frequency domain, these filters are known as Head-Related Transfer Functions (HRTFs). This thesis states the basic principles of spatial audio and provides an analysis of the spectral characteristics of HRTFs. Moreover, since these spectral features differ among individuals, we introduce a new anthropometric-based method for customizing of HRTFs in the horizontal plane. The method uses Isomap, artificial neural networks (ANN), and a neighborhood-based reconstruction procedure. We first modify Isomap's graph construction step to emphasize the individuality of HRTFs and perform a customized nonlinear dimensionality reduction of the HTRFs. We then use an ANN to model the nonlinear relationship between anthropometric features and our low-dimensional HRTFs. Finally, we use a neighborhood-based reconstruction approach to reconstruct the HRTF from the estimated low-dimensional version. Simulations show that our approach performs better than PCA (Principal Component Analysis) and confirm that Isomap is capable of discovering the underlying nonlinear relationships of sound perceptionMestradoEngenharia de ComputaçãoMestre em Engenharia Elétric